Tool-Adaptive LLM Reranker
工具自适应大语言模型重排序器
🧭 点式重排序 · 自适应工具路由 ★ 深度解读
Carnegie Mellon University · Huazhong University of Science and Technology
将点式重排序建模为 Agent MDP，通过成本感知强化学习动态调用工具，平衡精度与效率
📌 工作参考价值（4 点）
- 动态工具调用机制：对于冷门商品、长尾查询或实时性要求高的推荐（如促销、库存变化），可训练重排序模型自行判断是否需要查询外部知识库（商品属性、实时价格、知识图谱），避免对所有请求都进行昂贵的外部检索，保持低延迟。
- 两阶段训练范式：利用 KL 散度正则化防止 LLM 在微调判别性任务时丧失原生生成能力（灾难性遗忘），随后用 GRPO 优化延迟与准确性的权衡；这一方法可直接迁移到现有基于 LLM 的评分模型训练中。
- 非对称成本感知奖励：设计奖励函数时，对高置信度错误且未调用工具给予严厉惩罚（-1.0），对正确回答且绕过工具给予高奖励，迫使模型只在必要时调用工具；可应用于构建自适应推理链路的 Agent 系统中。
- 提示模板与推理流程：论文提供了最小化工具调用的系统指令和严格输出格式，以及基于 token 拦截的 MDP 推理 Algorithm 1，对实现类似的 Agentic Reranker 具有直接参考价值。